OmniDet: Surround View Cameras based Multi-task Visual Perception Network for Autonomous Driving

Surround View fisheye cameras are commonly deployed in automated driving for 360\deg{} near-field sensing around the vehicle. This work presents a multi-task visual perception network on unrectified fisheye images to enable the vehicle to sense its surrounding environment. It consists of six primary tasks necessary for an autonomous driving system: depth estimation, visual odometry, semantic segmentation, motion segmentation, object detection, and lens soiling detection. We demonstrate that the jointly trained model performs better than the respective single task versions. Our multi-task model has a shared encoder providing a significant computational advantage and has synergized decoders where tasks support each other. We propose a novel camera geometry based adaptation mechanism to encode the fisheye distortion model both at training and inference. This was crucial to enable training on the WoodScape dataset, comprised of data from different parts of the world collected by 12 different cameras mounted on three different cars with different intrinsics and viewpoints. Given that bounding boxes is not a good representation for distorted fisheye images, we also extend object detection to use a polygon with non-uniformly sampled vertices. We additionally evaluate our model on standard automotive datasets, namely KITTI and Cityscapes. We obtain the state-of-the-art results on KITTI for depth estimation and pose estimation tasks and competitive performance on the other tasks. We perform extensive ablation studies on various architecture choices and task weighting methodologies. A short video at https://youtu.be/xbSjZ5OfPes provides qualitative results.Comment: Camera ready version accepted for RA-L and ICRA 2021 publicatio

FisheyeMultiNet: Real-time Multi-task Learning Architecture for Surround-view Automated Parking System.

Automated Parking is a low speed manoeuvring scenario which is quite unstructured and complex, requiring full 360° near-field sensing around the vehicle. In this paper, we discuss the design and implementation of an automated parking system from the perspective of camera based deep learning algorithms. We provide a holistic overview of an industrial system covering the embedded system, use cases and the deep learning architecture. We demonstrate a real-time multi-task deep learning network called FisheyeMultiNet, which detects all the necessary objects for parking on a low-power embedded system. FisheyeMultiNet runs at 15 fps for 4 cameras and it has three tasks namely object detection, semantic segmentation and soiling detection. To encourage further research, we release a partial dataset of 5,000 images containing semantic segmentation and bounding box detection ground truth via WoodScape project [Yogamani et al., 2019]

On-line fusion of visual object tracking algorithms

Le suivi visuel d’objet est une fonction élémentaire de la vision par ordinateur ayant fait l’objet de nombreux travaux. La dérive au cours du temps est l'un des phénomènes les plus critiques à maîtriser, car elle aboutit à la perte définitive de la cible suivie. Malgré les nombreuses approches proposées dans la littérature pour contrer ce phénomène, aucune ne surpasse une autre en terme de robustesse face aux diverses sources de perturbations visuelles : variation d'illumination, occultation, mouvement brusque de caméra, changement d'aspect. L’objectif de cette thèse est d’exploiter la complémentarité d’un ensemble d'algorithmes de suivi, « trackers », en développant des stratégies de fusion en ligne capables de les combiner génériquement. La chaîne de fusion proposée a consisté à sélectionner les trackers à partir d'indicateurs de bon fonctionnement, à combiner leurs sorties et à les corriger. La prédiction en ligne de dérive a été étudiée comme un élément clé du mécanisme de sélection. Plusieurs méthodes sont proposées pour chacune des étapes de la chaîne, donnant lieu à 46 configurations de fusion possibles. Évaluées sur 3 bases de données, l’étude a mis en évidence plusieurs résultats principaux : une sélection performante améliore considérablement la robustesse de suivi ; une correction de mise à jour est préférable à une réinitialisation ; il est plus avantageux de combiner un petit nombre de trackers complémentaires et de performances homogènes qu'un grand nombre ; la robustesse de fusion d’un petit nombre de trackers est corrélée à la mesure d’incomplétude, ce qui permet de sélectionner la combinaison de trackers adaptée à un contexte applicatif donné.Visual object tracking is an elementary function of computer vision that has been the subject of numerous studies. Drift over time is one of the most critical phenomena to master because it leads to the permanent loss of the target being tracked. Despite the numerous approaches proposed in the literature to counter this phenomenon, none outperforms another in terms of robustness to the various sources of visual perturbations: variation of illumination, occlusion, sudden movement of camera, change of aspect. The objective of this thesis is to exploit the complementarity of a set of tracking algorithms by developing on-line fusion strategies capable of combining them generically. The proposed fusion chain consists of selecting the trackers from indicators of good functioning, combining their outputs and correcting them. On-line drift prediction was studied as a key element of the selection mechanism. Several methods are proposed for each step of the chain, giving rise to 46 possible fusion configurations. Evaluated on 3 databases, the study highlighted several key findings: effective selection greatly improves robustness; The correction improves the robustness but is sensitive to bad selection, making updating preferable to reinitialization; It is more advantageous to combine a small number of complementary trackers with homogeneous performances than a large number; The robustness of fusion of a small number of trackers is correlated to the incompleteness measure, which makes it possible to select the appropriate combination of trackers to a given application context

Fusion en ligne d'algorithmes de suivi visuel d'objet

Visual object tracking is an elementary function of computer vision that has been the subject of numerous studies. Drift over time is one of the most critical phenomena to master because it leads to the permanent loss of the target being tracked. Despite the numerous approaches proposed in the literature to counter this phenomenon, none outperforms another in terms of robustness to the various sources of visual perturbations: variation of illumination, occlusion, sudden movement of camera, change of aspect. The objective of this thesis is to exploit the complementarity of a set of tracking algorithms by developing on-line fusion strategies capable of combining them generically. The proposed fusion chain consists of selecting the trackers from indicators of good functioning, combining their outputs and correcting them. On-line drift prediction was studied as a key element of the selection mechanism. Several methods are proposed for each step of the chain, giving rise to 46 possible fusion configurations. Evaluated on 3 databases, the study highlighted several key findings: effective selection greatly improves robustness; The correction improves the robustness but is sensitive to bad selection, making updating preferable to reinitialization; It is more advantageous to combine a small number of complementary trackers with homogeneous performances than a large number; The robustness of fusion of a small number of trackers is correlated to the incompleteness measure, which makes it possible to select the appropriate combination of trackers to a given application context.Le suivi visuel d’objet est une fonction élémentaire de la vision par ordinateur ayant fait l’objet de nombreux travaux. La dérive au cours du temps est l'un des phénomènes les plus critiques à maîtriser, car elle aboutit à la perte définitive de la cible suivie. Malgré les nombreuses approches proposées dans la littérature pour contrer ce phénomène, aucune ne surpasse une autre en terme de robustesse face aux diverses sources de perturbations visuelles : variation d'illumination, occultation, mouvement brusque de caméra, changement d'aspect. L’objectif de cette thèse est d’exploiter la complémentarité d’un ensemble d'algorithmes de suivi, « trackers », en développant des stratégies de fusion en ligne capables de les combiner génériquement. La chaîne de fusion proposée a consisté à sélectionner les trackers à partir d'indicateurs de bon fonctionnement, à combiner leurs sorties et à les corriger. La prédiction en ligne de dérive a été étudiée comme un élément clé du mécanisme de sélection. Plusieurs méthodes sont proposées pour chacune des étapes de la chaîne, donnant lieu à 46 configurations de fusion possibles. Évaluées sur 3 bases de données, l’étude a mis en évidence plusieurs résultats principaux : une sélection performante améliore considérablement la robustesse de suivi ; une correction de mise à jour est préférable à une réinitialisation ; il est plus avantageux de combiner un petit nombre de trackers complémentaires et de performances homogènes qu'un grand nombre ; la robustesse de fusion d’un petit nombre de trackers est corrélée à la mesure d’incomplétude, ce qui permet de sélectionner la combinaison de trackers adaptée à un contexte applicatif donné

Efficacy and Safety of Pyronaridine-Artesunate for Treatment of Uncomplicated Plasmodium falciparum Malaria in Western Cambodia

International audiencePyronaridine-artesunate efficacy for the treatment of uncomplicated Plasmodium falciparum malaria was assessed in an area of artemisinin resistance in western Cambodia. This nonrandomized, single-arm, observational study was conducted between 2014 and 2015. Eligible patients were adults or children with microscopically confirmed P. falciparum infection and fever. Patients received pyronaridine-artesunate once daily for 3 days, dosed according to body weight. The primary outcome was an adequate clinical and parasitological response (ACPR) on day 42, estimated by using Kaplan-Meier analysis, PCR adjusted to exclude reinfection. One hundred twenty-three patients were enrolled. Day 42 PCR-crude ACPRs were 87.2% (95% confidence interval [CI], 79.7 to 92.6%) for the overall study, 89.8% (95% CI, 78.8 to 95.3%) for Pursat, and 82.1% (95% CI, 68.4 to 90.2%) for Pailin. Day 42 PCR-adjusted ACPRs were 87.9% (95% CI, 80.6 to 93.2%) for the overall study, 89.8% (95% CI, 78.8 to 95.3%) for Pursat, and 84.0% (95% CI, 70.6 to 91.7%) for Pailin (P = 0.353 by a log rank test). Day 28 PCR-crude and -adjusted ACPRs were 93.2% (95% CI, 82.9 to 97.4%) and 88.1% (95% CI, 75.3 to 94.5%) for Pursat and Pailin, respectively. A significantly lower proportion of patients achieved day 3 parasite clearance in Pailin (56.4% [95% CI, 43.9 to 69.6%]) than in Pursat (86.7% [95% CI, 76.8 to 93.8%]; P = 0.0019). Fever clearance was also extended at Pailin versus Pursat (P < 0.0001). Most patients (95.9% [116/121]) harbored P. falciparum kelch13 C580Y mutant parasites. Pyronaridine-artesunate was well tolerated; mild increases in hepatic transaminase levels were consistent with data from previous reports. Pyronaridine-artesunate efficacy was below the World Health Organization-recommended threshold at day 42 for medicines with a long half-life (90%) for first-line treatment of P. falciparum malaria in western Cambodia despite high efficacy elsewhere in Asia and Africa. (This study has been registered at ClinicalTrials.gov under registration number NCT02389439.)

Une approche bioculturelle du premier aliment du nouveau-né. Le colostrum

International audienceThe "Colostrum" project, sponsored by the National Research Agency (ANR) from 2013 to 2016, is an interdisciplinary and international programme entirely dedicated to pre-milk newborn feeding. It concerns both the representations and practices around the donation of colostrum by the mother and its consumption by the child. It brought together 12 partners in 7 countries (Germany, Bolivia, Brazil, Burkina Faso, Cambodia, France, Morocco) spread over 4 continents, and the research itself includes four complementary components: anthropological, immunological, psychobiological, as well as an open science component for the restitution of results. The first part of the article displays the context of this research program, while the second part reveals the problem and the anthropological, immunological and psychobiological aspects of the program. The third and last part presents the first results, followed by general observations.Le projet « Colostrum » soutenu par l’Agence Nationale de la Recherche (ANR) de 2013 à 2016 est un programme interdisciplinaire et international entièrement consacré à l’alimentation pré-lactée du nouveau-né. Il concerne aussi bien les représentations et pratiques autour du don de colostrum par la mère que sa consommation par l’enfant. Il a réuni 12 partenaires dans 7 pays (Allemagne, Bolivie, Brésil, Burkina Faso, Cambodge, France, Maroc) répartis sur 4 continents.La recherche proprement dite comprend quatre volets complémentaires : anthropologique, immunologique, psychobiologique, ainsi qu’un volet open science pour la restitution des résultats. La première partie de l'article présente le contexte dans lequel s’inscrit ce programme de recherche tandis que la deuxième détaille la problématique et les volets anthropologique, immunologique et psychobiologique du programme. La troisième et dernière partie livre les premiers résultats, puis conclue par des remarques de portée générale

Premiers cris, premières nourritures

Cet ouvrage offre une mise en perspective des pratiques d’allaitement et de sevrage des nourrissons et des jeunes enfants, de la Préhistoire à nos jours. Plus qu’une histoire de l’allaitement, il dresse un bilan des savoirs les plus actuels autour de ces pratiques, depuis les premières minutes de vie jusqu’à l’abandon définitif du lait maternel. Un moment unique, un regard croisé sur les modes d’alimentation des tout-petits et leurs déterminants, cette thématique, qui implique tant les sciences humaines et sociales que les sciences médicales, est abordée dans une perspective diachronique, pluridisciplinaire et internationale. Les contributions réunies dans cet ouvrage vont au-delà des connaissances déjà produites par les historiens. S’appuyant sur d’autres sources documentaires, comme celles contenues dans les milliers de squelettes humains issus des fouilles archéologiques, et les techniques d’analyse du contenu chimique des ossements, il est désormais possible d’explorer le temps long, et de nuancer parfois les informations fournies par les textes anciens. Le large panorama ici retracé permet de conclure qu’au-delà des normes imposées par le discours médical ou militant, l’allaitement maternel n’a jamais été le mode d’alimentation exclusif des nourrissons. De tout temps et sous toutes les latitudes, les comportements d’allaitement ont été modelés par des facteurs physiologiques, psychologiques, familiaux, d’ordre social et économique au « sein » desquels les politiques de santé ont également tenté de s’imposer